En este documento se mostrarán los resultados del clasificador Regresión Logística usando diferentes épocas y constantes de aprendizaje. Posteriormente, se hará un analísis ROC de todos los clasificadores implementados. En este análisis se mostrarán puntos sobre el espacio ROC y una curva ROC.
En está practica, se han usado ambos tipos de validaciones, cruzada y simple. En concreto, con la validación cruzada se usan los valores K: 4, 6, 8, 10. Para la validación simple se usán valores para el %: 25, 20, 15, 10.
# Para esconder los warnings
def warn(*args, **kwargs):
pass
import warnings
warnings.warn = warn
from Datos import Datos
import utils
import matplotlib.pyplot as plt
# Cargamos datos
pima = Datos("ConjuntosDatos/pima-indians-diabetes.data")
wdbc = Datos("ConjuntosDatos/wdbc.data")
A continuación se mostraran tablas en las cuales se realizan tests sobre los conjuntos de datos pima y wdbc. En estos tests la constante de aprendizaje varía entre [0.5-2] (en pasos de 0.5), y el número de épocas varía desde [10-1000] (en pasos de 15 hasta 100, y en pasos de 100 hasta 1000).
errorMedioPimaVC, errorMedioPimaVS, errorMedioWDBCVC, errorMedioWDBCVS = utils.RL_test(pima, wdbc)
*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=10*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=10 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.531250 0.103873 Validación Cruzada K-Folds=4 0.446615 0.103873 Validación Simple 20% 0.430065 0.104425 Validación Cruzada K-Folds=6 0.608073 0.443262 Validación Simple 15% 0.378261 0.129412 Validación Cruzada K-Folds=8 0.348958 0.112676 Validación Simple 10% 0.419737 0.194643 Validación Cruzada K-Folds=10 0.348684 0.085714 ================================================================================ Test Épocas=10 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.417969 0.260563 Validación Cruzada K-Folds=4 0.399740 0.139085 Validación Simple 20% 0.475817 0.143363 Validación Cruzada K-Folds=6 0.376302 0.200355 Validación Simple 15% 0.421739 0.280392 Validación Cruzada K-Folds=8 0.355469 0.161972 Validación Simple 10% 0.413158 0.121429 Validación Cruzada K-Folds=10 0.338158 0.326786 ================================================================================ Test Épocas=10 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.485677 0.130282 Validación Cruzada K-Folds=4 0.458333 0.103873 Validación Simple 20% 0.435294 0.207080 Validación Cruzada K-Folds=6 0.360677 0.085106 Validación Simple 15% 0.421739 0.184314 Validación Cruzada K-Folds=8 0.601562 0.443662 Validación Simple 10% 0.463158 0.251786 Validación Cruzada K-Folds=10 0.540789 0.092857 ================================================================================ Test Épocas=10 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.420573 0.121479 Validación Cruzada K-Folds=4 0.449219 0.262324 Validación Simple 20% 0.508497 0.184071 Validación Cruzada K-Folds=6 0.346354 0.108156 Validación Simple 15% 0.431884 0.180392 Validación Cruzada K-Folds=8 0.361979 0.093310 Validación Simple 10% 0.457895 0.217857 Validación Cruzada K-Folds=10 0.506579 0.157143 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=25*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=25 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.434896 0.110915 Validación Cruzada K-Folds=4 0.408854 0.274648 Validación Simple 20% 0.440523 0.102655 Validación Cruzada K-Folds=6 0.386719 0.097518 Validación Simple 15% 0.363768 0.162745 Validación Cruzada K-Folds=8 0.354167 0.114437 Validación Simple 10% 0.344737 0.139286 Validación Cruzada K-Folds=10 0.359211 0.100000 ================================================================================ Test Épocas=25 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.466146 0.066901 Validación Cruzada K-Folds=4 0.571615 0.103873 Validación Simple 20% 0.477124 0.168142 Validación Cruzada K-Folds=6 0.348958 0.214539 Validación Simple 15% 0.326087 0.149020 Validación Cruzada K-Folds=8 0.427083 0.093310 Validación Simple 10% 0.378947 0.175000 Validación Cruzada K-Folds=10 0.465789 0.296429 ================================================================================ Test Épocas=25 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.475260 0.100352 Validación Cruzada K-Folds=4 0.348958 0.103873 Validación Simple 20% 0.487582 0.217699 Validación Cruzada K-Folds=6 0.442708 0.168440 Validación Simple 15% 0.431884 0.145098 Validación Cruzada K-Folds=8 0.483073 0.100352 Validación Simple 10% 0.438158 0.151786 Validación Cruzada K-Folds=10 0.344737 0.198214 ================================================================================ Test Épocas=25 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.488281 0.082746 Validación Cruzada K-Folds=4 0.542969 0.088028 Validación Simple 20% 0.549020 0.219469 Validación Cruzada K-Folds=6 0.441406 0.196809 Validación Simple 15% 0.388406 0.160784 Validación Cruzada K-Folds=8 0.337240 0.084507 Validación Simple 10% 0.386842 0.153571 Validación Cruzada K-Folds=10 0.357895 0.073214 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=40*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=40 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.417969 0.091549 Validación Cruzada K-Folds=4 0.444010 0.102113 Validación Simple 20% 0.440523 0.074336 Validación Cruzada K-Folds=6 0.549479 0.179078 Validación Simple 15% 0.395652 0.137255 Validación Cruzada K-Folds=8 0.471354 0.079225 Validación Simple 10% 0.440789 0.110714 Validación Cruzada K-Folds=10 0.369737 0.237500 ================================================================================ Test Épocas=40 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.441406 0.098592 Validación Cruzada K-Folds=4 0.563802 0.080986 Validación Simple 20% 0.400000 0.194690 Validación Cruzada K-Folds=6 0.445312 0.335106 Validación Simple 15% 0.397101 0.150980 Validación Cruzada K-Folds=8 0.361979 0.096831 Validación Simple 10% 0.469737 0.164286 Validación Cruzada K-Folds=10 0.427632 0.101786 ================================================================================ Test Épocas=40 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.345052 0.117958 Validación Cruzada K-Folds=4 0.436198 0.142606 Validación Simple 20% 0.445752 0.161062 Validación Cruzada K-Folds=6 0.488281 0.148936 Validación Simple 15% 0.455072 0.096078 Validación Cruzada K-Folds=8 0.365885 0.086268 Validación Simple 10% 0.380263 0.075000 Validación Cruzada K-Folds=10 0.551316 0.110714 ================================================================================ Test Épocas=40 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.365885 0.177817 Validación Cruzada K-Folds=4 0.394531 0.109155 Validación Simple 20% 0.443137 0.081416 Validación Cruzada K-Folds=6 0.348958 0.099291 Validación Simple 15% 0.415942 0.121569 Validación Cruzada K-Folds=8 0.402344 0.089789 Validación Simple 10% 0.447368 0.162500 Validación Cruzada K-Folds=10 0.348684 0.123214 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=55*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=55 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.395833 0.103873 Validación Cruzada K-Folds=4 0.536458 0.225352 Validación Simple 20% 0.419608 0.111504 Validación Cruzada K-Folds=6 0.390625 0.097518 Validación Simple 15% 0.398551 0.113725 Validación Cruzada K-Folds=8 0.501302 0.089789 Validación Simple 10% 0.407895 0.110714 Validación Cruzada K-Folds=10 0.489474 0.125000 ================================================================================ Test Épocas=55 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.348958 0.091549 Validación Cruzada K-Folds=4 0.407552 0.123239 Validación Simple 20% 0.407843 0.171681 Validación Cruzada K-Folds=6 0.449219 0.143617 Validación Simple 15% 0.382609 0.229412 Validación Cruzada K-Folds=8 0.610677 0.269366 Validación Simple 10% 0.436842 0.146429 Validación Cruzada K-Folds=10 0.335526 0.078571 ================================================================================ Test Épocas=55 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.325521 0.077465 Validación Cruzada K-Folds=4 0.347656 0.103873 Validación Simple 20% 0.516340 0.180531 Validación Cruzada K-Folds=6 0.460938 0.093972 Validación Simple 15% 0.510145 0.170588 Validación Cruzada K-Folds=8 0.436198 0.130282 Validación Simple 10% 0.430263 0.162500 Validación Cruzada K-Folds=10 0.467105 0.112500 ================================================================================ Test Épocas=55 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.403646 0.091549 Validación Cruzada K-Folds=4 0.582031 0.091549 Validación Simple 20% 0.433987 0.150442 Validación Cruzada K-Folds=6 0.373698 0.118794 Validación Simple 15% 0.355072 0.178431 Validación Cruzada K-Folds=8 0.412760 0.102113 Validación Simple 10% 0.455263 0.133929 Validación Cruzada K-Folds=10 0.400000 0.325000 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=70*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=70 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.335938 0.169014 Validación Cruzada K-Folds=4 0.417969 0.163732 Validación Simple 20% 0.369935 0.104425 Validación Cruzada K-Folds=6 0.368490 0.122340 Validación Simple 15% 0.415942 0.188235 Validación Cruzada K-Folds=8 0.484375 0.274648 Validación Simple 10% 0.378947 0.121429 Validación Cruzada K-Folds=10 0.440789 0.167857 ================================================================================ Test Épocas=70 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.460938 0.082746 Validación Cruzada K-Folds=4 0.399740 0.093310 Validación Simple 20% 0.454902 0.136283 Validación Cruzada K-Folds=6 0.345052 0.262411 Validación Simple 15% 0.413043 0.119608 Validación Cruzada K-Folds=8 0.613281 0.100352 Validación Simple 10% 0.422368 0.169643 Validación Cruzada K-Folds=10 0.351316 0.083929 ================================================================================ Test Épocas=70 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.352865 0.089789 Validación Cruzada K-Folds=4 0.486979 0.285211 Validación Simple 20% 0.435294 0.159292 Validación Cruzada K-Folds=6 0.546875 0.104610 Validación Simple 15% 0.440580 0.107843 Validación Cruzada K-Folds=8 0.364583 0.095070 Validación Simple 10% 0.435526 0.142857 Validación Cruzada K-Folds=10 0.363158 0.178571 ================================================================================ Test Épocas=70 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.450521 0.119718 Validación Cruzada K-Folds=4 0.339844 0.086268 Validación Simple 20% 0.426144 0.166372 Validación Cruzada K-Folds=6 0.536458 0.111702 Validación Simple 15% 0.443478 0.119608 Validación Cruzada K-Folds=8 0.361979 0.105634 Validación Simple 10% 0.517105 0.096429 Validación Cruzada K-Folds=10 0.352632 0.098214 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=85*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=85 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.440104 0.123239 Validación Cruzada K-Folds=4 0.352865 0.105634 Validación Simple 20% 0.409150 0.148673 Validación Cruzada K-Folds=6 0.328125 0.140071 Validación Simple 15% 0.468116 0.101961 Validación Cruzada K-Folds=8 0.348958 0.123239 Validación Simple 10% 0.394737 0.137500 Validación Cruzada K-Folds=10 0.348684 0.128571 ================================================================================ Test Épocas=85 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.442708 0.142606 Validación Cruzada K-Folds=4 0.455729 0.075704 Validación Simple 20% 0.439216 0.159292 Validación Cruzada K-Folds=6 0.337240 0.202128 Validación Simple 15% 0.386957 0.123529 Validación Cruzada K-Folds=8 0.403646 0.079225 Validación Simple 10% 0.421053 0.171429 Validación Cruzada K-Folds=10 0.452632 0.089286 ================================================================================ Test Épocas=85 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.513021 0.174296 Validación Cruzada K-Folds=4 0.434896 0.128521 Validación Simple 20% 0.450980 0.166372 Validación Cruzada K-Folds=6 0.414062 0.070922 Validación Simple 15% 0.413043 0.107843 Validación Cruzada K-Folds=8 0.437500 0.098592 Validación Simple 10% 0.485526 0.092857 Validación Cruzada K-Folds=10 0.351316 0.101786 ================================================================================ Test Épocas=85 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.476562 0.098592 Validación Cruzada K-Folds=4 0.333333 0.191901 Validación Simple 20% 0.345098 0.083186 Validación Cruzada K-Folds=6 0.520833 0.109929 Validación Simple 15% 0.385507 0.137255 Validación Cruzada K-Folds=8 0.621094 0.281690 Validación Simple 10% 0.453947 0.123214 Validación Cruzada K-Folds=10 0.348684 0.096429 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=100*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=100 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.505208 0.119718 Validación Cruzada K-Folds=4 0.486979 0.100352 Validación Simple 20% 0.436601 0.107965 Validación Cruzada K-Folds=6 0.402344 0.102837 Validación Simple 15% 0.488406 0.100000 Validación Cruzada K-Folds=8 0.503906 0.095070 Validación Simple 10% 0.436842 0.107143 Validación Cruzada K-Folds=10 0.421053 0.076786 ================================================================================ Test Épocas=100 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.378906 0.084507 Validación Cruzada K-Folds=4 0.345052 0.091549 Validación Simple 20% 0.403922 0.125664 Validación Cruzada K-Folds=6 0.384115 0.125887 Validación Simple 15% 0.459420 0.125490 Validación Cruzada K-Folds=8 0.516927 0.107394 Validación Simple 10% 0.361842 0.162500 Validación Cruzada K-Folds=10 0.401316 0.091071 ================================================================================ Test Épocas=100 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.483073 0.190141 Validación Cruzada K-Folds=4 0.401042 0.088028 Validación Simple 20% 0.432680 0.090265 Validación Cruzada K-Folds=6 0.341146 0.097518 Validación Simple 15% 0.395652 0.101961 Validación Cruzada K-Folds=8 0.360677 0.105634 Validación Simple 10% 0.384211 0.112500 Validación Cruzada K-Folds=10 0.535526 0.153571 ================================================================================ Test Épocas=100 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.371094 0.080986 Validación Cruzada K-Folds=4 0.492188 0.084507 Validación Simple 20% 0.460131 0.099115 Validación Cruzada K-Folds=6 0.334635 0.147163 Validación Simple 15% 0.342029 0.129412 Validación Cruzada K-Folds=8 0.398438 0.110915 Validación Simple 10% 0.414474 0.100000 Validación Cruzada K-Folds=10 0.364474 0.119643 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=200*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=200 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.462240 0.091549 Validación Cruzada K-Folds=4 0.346354 0.126761 Validación Simple 20% 0.351634 0.180531 Validación Cruzada K-Folds=6 0.589844 0.255319 Validación Simple 15% 0.486957 0.115686 Validación Cruzada K-Folds=8 0.346354 0.089789 Validación Simple 10% 0.376316 0.094643 Validación Cruzada K-Folds=10 0.353947 0.085714 ================================================================================ Test Épocas=200 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.464844 0.179577 Validación Cruzada K-Folds=4 0.378906 0.110915 Validación Simple 20% 0.403922 0.123894 Validación Cruzada K-Folds=6 0.390625 0.131206 Validación Simple 15% 0.405797 0.131373 Validación Cruzada K-Folds=8 0.532552 0.135563 Validación Simple 10% 0.386842 0.091071 Validación Cruzada K-Folds=10 0.428947 0.069643 ================================================================================ Test Épocas=200 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.420573 0.125000 Validación Cruzada K-Folds=4 0.403646 0.102113 Validación Simple 20% 0.392157 0.099115 Validación Cruzada K-Folds=6 0.464844 0.099291 Validación Simple 15% 0.395652 0.066667 Validación Cruzada K-Folds=8 0.501302 0.105634 Validación Simple 10% 0.419737 0.112500 Validación Cruzada K-Folds=10 0.436842 0.076786 ================================================================================ Test Épocas=200 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.402344 0.082746 Validación Cruzada K-Folds=4 0.407552 0.102113 Validación Simple 20% 0.558170 0.159292 Validación Cruzada K-Folds=6 0.375000 0.083333 Validación Simple 15% 0.463768 0.113725 Validación Cruzada K-Folds=8 0.365885 0.139085 Validación Simple 10% 0.451316 0.094643 Validación Cruzada K-Folds=10 0.405263 0.096429 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=300*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=300 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.438802 0.098592 Validación Cruzada K-Folds=4 0.361979 0.080986 Validación Simple 20% 0.486275 0.148673 Validación Cruzada K-Folds=6 0.402344 0.092199 Validación Simple 15% 0.495652 0.115686 Validación Cruzada K-Folds=8 0.382812 0.091549 Validación Simple 10% 0.405263 0.073214 Validación Cruzada K-Folds=10 0.353947 0.087500 ================================================================================ Test Épocas=300 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.437500 0.112676 Validación Cruzada K-Folds=4 0.338542 0.103873 Validación Simple 20% 0.486275 0.130973 Validación Cruzada K-Folds=6 0.339844 0.124113 Validación Simple 15% 0.457971 0.123529 Validación Cruzada K-Folds=8 0.360677 0.091549 Validación Simple 10% 0.434211 0.105357 Validación Cruzada K-Folds=10 0.431579 0.121429 ================================================================================ Test Épocas=300 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.500000 0.070423 Validación Cruzada K-Folds=4 0.441406 0.146127 Validación Simple 20% 0.427451 0.097345 Validación Cruzada K-Folds=6 0.528646 0.088652 Validación Simple 15% 0.443478 0.109804 Validación Cruzada K-Folds=8 0.450521 0.080986 Validación Simple 10% 0.400000 0.132143 Validación Cruzada K-Folds=10 0.401316 0.108929 ================================================================================ Test Épocas=300 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.492188 0.116197 Validación Cruzada K-Folds=4 0.476562 0.084507 Validación Simple 20% 0.410458 0.107965 Validación Cruzada K-Folds=6 0.445312 0.127660 Validación Simple 15% 0.410145 0.121569 Validación Cruzada K-Folds=8 0.390625 0.089789 Validación Simple 10% 0.438158 0.126786 Validación Cruzada K-Folds=10 0.322368 0.087500 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=400*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=400 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.348958 0.098592 Validación Cruzada K-Folds=4 0.515625 0.079225 Validación Simple 20% 0.440523 0.132743 Validación Cruzada K-Folds=6 0.569010 0.086879 Validación Simple 15% 0.414493 0.105882 Validación Cruzada K-Folds=8 0.338542 0.218310 Validación Simple 10% 0.456579 0.112500 Validación Cruzada K-Folds=10 0.344737 0.075000 ================================================================================ Test Épocas=400 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.338542 0.088028 Validación Cruzada K-Folds=4 0.432292 0.214789 Validación Simple 20% 0.449673 0.116814 Validación Cruzada K-Folds=6 0.404948 0.081560 Validación Simple 15% 0.453623 0.092157 Validación Cruzada K-Folds=8 0.359375 0.086268 Validación Simple 10% 0.456579 0.151786 Validación Cruzada K-Folds=10 0.514474 0.087500 ================================================================================ Test Épocas=400 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.488281 0.109155 Validación Cruzada K-Folds=4 0.466146 0.088028 Validación Simple 20% 0.362092 0.138053 Validación Cruzada K-Folds=6 0.337240 0.138298 Validación Simple 15% 0.460870 0.107843 Validación Cruzada K-Folds=8 0.574219 0.172535 Validación Simple 10% 0.442105 0.101786 Validación Cruzada K-Folds=10 0.375000 0.091071 ================================================================================ Test Épocas=400 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.385417 0.121479 Validación Cruzada K-Folds=4 0.496094 0.082746 Validación Simple 20% 0.402614 0.081416 Validación Cruzada K-Folds=6 0.354167 0.086879 Validación Simple 15% 0.415942 0.082353 Validación Cruzada K-Folds=8 0.337240 0.086268 Validación Simple 10% 0.440789 0.087500 Validación Cruzada K-Folds=10 0.428947 0.100000 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=500*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=500 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.458333 0.125000 Validación Cruzada K-Folds=4 0.449219 0.123239 Validación Simple 20% 0.456209 0.090265 Validación Cruzada K-Folds=6 0.414062 0.180851 Validación Simple 15% 0.434783 0.121569 Validación Cruzada K-Folds=8 0.398438 0.075704 Validación Simple 10% 0.392105 0.091071 Validación Cruzada K-Folds=10 0.357895 0.087500 ================================================================================ Test Épocas=500 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.381510 0.128521 Validación Cruzada K-Folds=4 0.532552 0.114437 Validación Simple 20% 0.407843 0.159292 Validación Cruzada K-Folds=6 0.432292 0.203901 Validación Simple 15% 0.376812 0.147059 Validación Cruzada K-Folds=8 0.385417 0.075704 Validación Simple 10% 0.397368 0.100000 Validación Cruzada K-Folds=10 0.626316 0.114286 ================================================================================ Test Épocas=500 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.350260 0.117958 Validación Cruzada K-Folds=4 0.351562 0.193662 Validación Simple 20% 0.406536 0.122124 Validación Cruzada K-Folds=6 0.430990 0.157801 Validación Simple 15% 0.424638 0.105882 Validación Cruzada K-Folds=8 0.384115 0.098592 Validación Simple 10% 0.526316 0.133929 Validación Cruzada K-Folds=10 0.507895 0.080357 ================================================================================ Test Épocas=500 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.380208 0.098592 Validación Cruzada K-Folds=4 0.402344 0.132042 Validación Simple 20% 0.400000 0.139823 Validación Cruzada K-Folds=6 0.382812 0.164894 Validación Simple 15% 0.433333 0.115686 Validación Cruzada K-Folds=8 0.365885 0.100352 Validación Simple 10% 0.435526 0.092857 Validación Cruzada K-Folds=10 0.465789 0.155357 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=600*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=600 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.350260 0.098592 Validación Cruzada K-Folds=4 0.395833 0.179577 Validación Simple 20% 0.471895 0.215929 Validación Cruzada K-Folds=6 0.337240 0.156028 Validación Simple 15% 0.408696 0.115686 Validación Cruzada K-Folds=8 0.346354 0.149648 Validación Simple 10% 0.469737 0.091071 Validación Cruzada K-Folds=10 0.427632 0.171429 ================================================================================ Test Épocas=600 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.540365 0.121479 Validación Cruzada K-Folds=4 0.350260 0.084507 Validación Simple 20% 0.364706 0.083186 Validación Cruzada K-Folds=6 0.384115 0.104610 Validación Simple 15% 0.356522 0.133333 Validación Cruzada K-Folds=8 0.498698 0.091549 Validación Simple 10% 0.492105 0.132143 Validación Cruzada K-Folds=10 0.573684 0.078571 ================================================================================ Test Épocas=600 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.367188 0.144366 Validación Cruzada K-Folds=4 0.557292 0.158451 Validación Simple 20% 0.376471 0.138053 Validación Cruzada K-Folds=6 0.395833 0.095745 Validación Simple 15% 0.452174 0.088235 Validación Cruzada K-Folds=8 0.348958 0.117958 Validación Simple 10% 0.448684 0.103571 Validación Cruzada K-Folds=10 0.438158 0.103571 ================================================================================ Test Épocas=600 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.346354 0.114437 Validación Cruzada K-Folds=4 0.397135 0.086268 Validación Simple 20% 0.413072 0.079646 Validación Cruzada K-Folds=6 0.444010 0.106383 Validación Simple 15% 0.331884 0.105882 Validación Cruzada K-Folds=8 0.377604 0.121479 Validación Simple 10% 0.446053 0.116071 Validación Cruzada K-Folds=10 0.467105 0.232143 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=700*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=700 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.407552 0.128521 Validación Cruzada K-Folds=4 0.339844 0.088028 Validación Simple 20% 0.461438 0.134513 Validación Cruzada K-Folds=6 0.436198 0.092199 Validación Simple 15% 0.468116 0.139216 Validación Cruzada K-Folds=8 0.401042 0.091549 Validación Simple 10% 0.397368 0.117857 Validación Cruzada K-Folds=10 0.375000 0.085714 ================================================================================ Test Épocas=700 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.489583 0.107394 Validación Cruzada K-Folds=4 0.358073 0.080986 Validación Simple 20% 0.377778 0.097345 Validación Cruzada K-Folds=6 0.345052 0.097518 Validación Simple 15% 0.371014 0.109804 Validación Cruzada K-Folds=8 0.346354 0.114437 Validación Simple 10% 0.386842 0.123214 Validación Cruzada K-Folds=10 0.346053 0.064286 ================================================================================ Test Épocas=700 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.403646 0.096831 Validación Cruzada K-Folds=4 0.363281 0.073944 Validación Simple 20% 0.392157 0.077876 Validación Cruzada K-Folds=6 0.347656 0.235816 Validación Simple 15% 0.423188 0.072549 Validación Cruzada K-Folds=8 0.390625 0.086268 Validación Simple 10% 0.388158 0.108929 Validación Cruzada K-Folds=10 0.481579 0.142857 ================================================================================ Test Épocas=700 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.444010 0.089789 Validación Cruzada K-Folds=4 0.496094 0.096831 Validación Simple 20% 0.394771 0.159292 Validación Cruzada K-Folds=6 0.342448 0.090426 Validación Simple 15% 0.402899 0.113725 Validación Cruzada K-Folds=8 0.527344 0.123239 Validación Simple 10% 0.471053 0.101786 Validación Cruzada K-Folds=10 0.436842 0.071429 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=800*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=800 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.342448 0.133803 Validación Cruzada K-Folds=4 0.416667 0.123239 Validación Simple 20% 0.359477 0.077876 Validación Cruzada K-Folds=6 0.394531 0.132979 Validación Simple 15% 0.401449 0.194118 Validación Cruzada K-Folds=8 0.618490 0.107394 Validación Simple 10% 0.413158 0.105357 Validación Cruzada K-Folds=10 0.348684 0.103571 ================================================================================ Test Épocas=800 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.389323 0.109155 Validación Cruzada K-Folds=4 0.553385 0.098592 Validación Simple 20% 0.503268 0.143363 Validación Cruzada K-Folds=6 0.335938 0.111702 Validación Simple 15% 0.407246 0.125490 Validación Cruzada K-Folds=8 0.420573 0.179577 Validación Simple 10% 0.463158 0.100000 Validación Cruzada K-Folds=10 0.588158 0.080357 ================================================================================ Test Épocas=800 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.356771 0.093310 Validación Cruzada K-Folds=4 0.546875 0.086268 Validación Simple 20% 0.401307 0.123894 Validación Cruzada K-Folds=6 0.339844 0.070922 Validación Simple 15% 0.395652 0.086275 Validación Cruzada K-Folds=8 0.351563 0.091549 Validación Simple 10% 0.461842 0.098214 Validación Cruzada K-Folds=10 0.450000 0.082143 ================================================================================ Test Épocas=800 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.359375 0.125000 Validación Cruzada K-Folds=4 0.548177 0.126761 Validación Simple 20% 0.441830 0.139823 Validación Cruzada K-Folds=6 0.352865 0.111702 Validación Simple 15% 0.460870 0.094118 Validación Cruzada K-Folds=8 0.339844 0.080986 Validación Simple 10% 0.443421 0.105357 Validación Cruzada K-Folds=10 0.555263 0.269643 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=900*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=900 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.420573 0.058099 Validación Cruzada K-Folds=4 0.519531 0.088028 Validación Simple 20% 0.375163 0.127434 Validación Cruzada K-Folds=6 0.338542 0.109929 Validación Simple 15% 0.439130 0.129412 Validación Cruzada K-Folds=8 0.531250 0.075704 Validación Simple 10% 0.375000 0.101786 Validación Cruzada K-Folds=10 0.352632 0.119643 ================================================================================ Test Épocas=900 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.358073 0.073944 Validación Cruzada K-Folds=4 0.558594 0.186620 Validación Simple 20% 0.400000 0.106195 Validación Cruzada K-Folds=6 0.459635 0.085106 Validación Simple 15% 0.436232 0.117647 Validación Cruzada K-Folds=8 0.332031 0.116197 Validación Simple 10% 0.439474 0.085714 Validación Cruzada K-Folds=10 0.547368 0.139286 ================================================================================ Test Épocas=900 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.559896 0.084507 Validación Cruzada K-Folds=4 0.464844 0.146127 Validación Simple 20% 0.349020 0.093805 Validación Cruzada K-Folds=6 0.518229 0.193262 Validación Simple 15% 0.410145 0.072549 Validación Cruzada K-Folds=8 0.404948 0.109155 Validación Simple 10% 0.425000 0.108929 Validación Cruzada K-Folds=10 0.336842 0.082143 ================================================================================ Test Épocas=900 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.427083 0.110915 Validación Cruzada K-Folds=4 0.535156 0.093310 Validación Simple 20% 0.403922 0.077876 Validación Cruzada K-Folds=6 0.591146 0.079787 Validación Simple 15% 0.362319 0.078431 Validación Cruzada K-Folds=8 0.377604 0.140845 Validación Simple 10% 0.359211 0.110714 Validación Cruzada K-Folds=10 0.348684 0.085714 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=1000*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=1000 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.451823 0.139085 Validación Cruzada K-Folds=4 0.433594 0.096831 Validación Simple 20% 0.400000 0.092035 Validación Cruzada K-Folds=6 0.351562 0.109929 Validación Simple 15% 0.401449 0.168627 Validación Cruzada K-Folds=8 0.406250 0.100352 Validación Simple 10% 0.388158 0.123214 Validación Cruzada K-Folds=10 0.352632 0.073214 ================================================================================ Test Épocas=1000 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.438802 0.080986 Validación Cruzada K-Folds=4 0.513021 0.128521 Validación Simple 20% 0.383007 0.116814 Validación Cruzada K-Folds=6 0.553385 0.085106 Validación Simple 15% 0.433333 0.109804 Validación Cruzada K-Folds=8 0.342448 0.096831 Validación Simple 10% 0.390789 0.116071 Validación Cruzada K-Folds=10 0.346053 0.100000 ================================================================================ Test Épocas=1000 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.444010 0.110915 Validación Cruzada K-Folds=4 0.468750 0.098592 Validación Simple 20% 0.419608 0.090265 Validación Cruzada K-Folds=6 0.442708 0.099291 Validación Simple 15% 0.476812 0.105882 Validación Cruzada K-Folds=8 0.596354 0.095070 Validación Simple 10% 0.373684 0.114286 Validación Cruzada K-Folds=10 0.343421 0.098214 ================================================================================ Test Épocas=1000 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.399740 0.114437 Validación Cruzada K-Folds=4 0.463542 0.237676 Validación Simple 20% 0.461438 0.129204 Validación Cruzada K-Folds=6 0.367188 0.093972 Validación Simple 15% 0.465217 0.098039 Validación Cruzada K-Folds=8 0.553385 0.080986 Validación Simple 10% 0.442105 0.150000 Validación Cruzada K-Folds=10 0.357895 0.073214 ================================================================================
utils.plot_epoch(errorMedioPimaVC, 0.5, False)
utils.plot_epoch(errorMedioPimaVS, 0.5, True)
utils.plot_epoch(errorMedioPimaVC, 1.0, False)
utils.plot_epoch(errorMedioPimaVS, 1.0, True)
utils.plot_epoch(errorMedioPimaVC, 1.5, False)
utils.plot_epoch(errorMedioPimaVS, 1.5, True)
utils.plot_epoch(errorMedioPimaVC, 2.0, False)
utils.plot_epoch(errorMedioPimaVS, 2.0, True)
En estas primeras gráficas podemos ver que el número de épocas no parece haber disminuido en gran medida el error. Hay ejemplos en los que el error desciende un poco pero rápidamente vuelve a ascender. Esto puede deberse a la aleatoriedad de los pesos iniciales, puede ser que ciertos valores ayuden a encontrar un mínimo en el error y otros valores dificulten esto.
utils.plot_epoch(errorMedioWDBCVC, 0.5, False)
utils.plot_epoch(errorMedioWDBCVS, 0.5, True)
utils.plot_epoch(errorMedioWDBCVC, 1.0, False)
utils.plot_epoch(errorMedioWDBCVS, 1.0, True)
utils.plot_epoch(errorMedioWDBCVC, 1.5, False)
utils.plot_epoch(errorMedioWDBCVS, 1.5, True)
utils.plot_epoch(errorMedioWDBCVC, 2.0, False)
utils.plot_epoch(errorMedioWDBCVS, 2.0, True)
En este dataest es más notorio que los valores descienden con el número de épocas, aunque sigue habiendo repuntes del error. Esto nos puede dar a entender que las características de los propios datos influyen en el desarrollo del modelo. Sería conveniente pues tener en cuenta estas características.
En lo que concierne a el número de épocas adecuado, podríamos decir que a partir de un valor >400, el modelo que se crea es igual de efectivo. Con esto me refiero a que el error que da un modelo en el que se han usado 400 épocas puede ser el mismo o incluso inferior que uno que ha usado 1000 épocas.
Esto puede deberse a que, en el descenso se encuentra el mínimo. Habiendo encontrado el mínimo no es necesario entrenar más el modelo, lo único que se consigue es moverse alrededor del mínimo.
Pero este número no es universal, como se ha visto con el dataset de Pima 400 no es un valor adecuado.
Ahora veremos como se desarrolla el error en base al valor que se le da a la constante de aprendizaje. Para esto se usará un determinado número de épocas (donde se da un menor error), de esta forma se vera el impacto de la cte.
utils.plot_aprendizaje(errorMedioPimaVS, 500, False)
utils.plot_aprendizaje(errorMedioPimaVC, 500, True)
A primera vista podemos decir que en general el error desciende mientras aumenta la constante de aprendizaje. Podemos interpretar esto de la siguiente forma: Si estamos en un valle lleno de pequeños montes y queremos saber donde está el mínimo, podemos hacer 2 cosas:
Dependiendo del monte (de los datos) debemos usar uno u otro. La canica tendríamos que usarlo en lugares donde haya varios mínimos y muy parejos, ya que la canica se mueve lentamente mientras busca el mínimo. En cambio, si en estos lugares usamos el balón, es posible nos saltemos un mínimo debido a la velocidad con la que se mueve el balón, es posible que pase por el mínimo absoluto pero se quede en un mínimo local. En cambio, si estamos en un lugar donde los mínimos son amplios y muy distantes, el balón es el sujeto perfecto, ya que gracias a sus rápidos movimientos podemos alcanzar el mínimo en poco tiempo (pocas épocas de entrenamiento).
Al final todo depende del problema, en este caso parece que una constante >=1.5 devuelve un resultado optimo.
utils.plot_aprendizaje(errorMedioWDBCVS, 500, False)
utils.plot_aprendizaje(errorMedioWDBCVC, 500, True)
En este dataset no parece tan beneficioso el tener una constante de aprendizaje alta. Como se ha mencionado antes, esto puede deberse a la propia estructura del dataset y sus atributos.
datos = (errorMedioPimaVS, errorMedioPimaVS)
utils.plot_histograms(datos, 500)
En este histograma podemos ver mejor el impacto de la constante de aprendizaje sobre el dataset. A la conclusión que podemos llegar es que el valor de este no es el que más influye en el error, ya que los resultados son muy parejos.
datos = (errorMedioWDBCVS, errorMedioWDBCVS)
utils.plot_histograms(datos, 500)
Al igual que en el histograma anterior, los resultados están muy parejos. Podríamos llegar a la conclusión de que una constante de aprendizaje pequeña (en este caso 0.5) tiene un mayor impacto sobre el error.
De nuevo, se van a mostrar tablas con la tasa de error que cometen los modelos de SKLearn. En estos tests la constante de aprendizaje varía entre [0.5-2] (en pasos de 0.5), y el número de épocas varía desde [10-1000] (en pasos de 15 hasta 100, y en pasos de 100 hasta 1000).
Antes de mostrar los datos responderemos a la siguiente pregunta:
Dadas estas definiciones, podemos concluir pues que el SGDClassifier es una técnica que optimiza, mientras que LogisticRegression es un clasificador que busca la máxima entropía.
Antes de continuar, en la página de SKLearn no parece haber un parámetro en el constructor de LogisticRegression que se refiera a una constante de aprendizaje. Por esta razón, los tests con este clasificador no muestran ninguna constante.
errorMedioPimaVC_logistic, errorMedioPimaVS_logistic, errorMedioWDBCVC_logistic, errorMedioWDBCVS_logistic = utils.RL_test_SK_logistic(pima, wdbc)
*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=10*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=10 Pima - Error WDBC - Error Validación Simple 25% 0.332031 0.083916 Validación Cruzada K-Folds=4 0.324219 0.096720 Validación Simple 20% 0.323377 0.092982 Validación Cruzada K-Folds=6 0.320312 0.093188 Validación Simple 15% 0.308908 0.096899 Validación Cruzada K-Folds=8 0.321615 0.094973 Validación Simple 10% 0.324675 0.080702 Validación Cruzada K-Folds=10 0.325496 0.089599 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=25*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=25 Pima - Error WDBC - Error Validación Simple 25% 0.309896 0.080420 Validación Cruzada K-Folds=4 0.326823 0.073771 Validación Simple 20% 0.322078 0.064912 Validación Cruzada K-Folds=6 0.326823 0.080814 Validación Simple 15% 0.317529 0.073643 Validación Cruzada K-Folds=8 0.311198 0.082624 Validación Simple 10% 0.337662 0.077193 Validación Cruzada K-Folds=10 0.326811 0.079041 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=40*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=40 Pima - Error WDBC - Error Validación Simple 25% 0.328125 0.073427 Validación Cruzada K-Folds=4 0.319010 0.084335 Validación Simple 20% 0.322078 0.063158 Validación Cruzada K-Folds=6 0.309896 0.068533 Validación Simple 15% 0.306034 0.079457 Validación Cruzada K-Folds=8 0.305990 0.073821 Validación Simple 10% 0.283117 0.064912 Validación Cruzada K-Folds=10 0.308595 0.075501 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=55*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=55 Pima - Error WDBC - Error Validación Simple 25% 0.266927 0.066434 Validación Cruzada K-Folds=4 0.309896 0.073771 Validación Simple 20% 0.254545 0.066667 Validación Cruzada K-Folds=6 0.295573 0.066779 Validación Simple 15% 0.255747 0.063953 Validación Cruzada K-Folds=8 0.268229 0.070325 Validación Simple 10% 0.271429 0.082456 Validación Cruzada K-Folds=10 0.274778 0.079073 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=70*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=70 Pima - Error WDBC - Error Validación Simple 25% 0.239583 0.076923 Validación Cruzada K-Folds=4 0.242188 0.077305 Validación Simple 20% 0.255844 0.087719 Validación Cruzada K-Folds=6 0.225260 0.064968 Validación Simple 15% 0.235632 0.058140 Validación Cruzada K-Folds=8 0.240885 0.066779 Validación Simple 10% 0.229870 0.070175 Validación Cruzada K-Folds=10 0.227871 0.061466 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=85*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=85 Pima - Error WDBC - Error Validación Simple 25% 0.214844 0.064685 Validación Cruzada K-Folds=4 0.225260 0.072035 Validación Simple 20% 0.251948 0.042105 Validación Cruzada K-Folds=6 0.225260 0.064987 Validación Simple 15% 0.222701 0.050388 Validación Cruzada K-Folds=8 0.229167 0.058001 Validación Simple 10% 0.225974 0.043860 Validación Cruzada K-Folds=10 0.234381 0.059712 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=100*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=100 Pima - Error WDBC - Error Validación Simple 25% 0.227865 0.069930 Validación Cruzada K-Folds=4 0.231771 0.070287 Validación Simple 20% 0.253247 0.052632 Validación Cruzada K-Folds=6 0.233073 0.064987 Validación Simple 15% 0.234195 0.073643 Validación Cruzada K-Folds=8 0.225260 0.056240 Validación Simple 10% 0.232468 0.068421 Validación Cruzada K-Folds=10 0.226521 0.054449 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=200*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=200 Pima - Error WDBC - Error Validación Simple 25% 0.225260 0.043706 Validación Cruzada K-Folds=4 0.235677 0.052706 Validación Simple 20% 0.231169 0.049123 Validación Cruzada K-Folds=6 0.223958 0.045670 Validación Simple 15% 0.237069 0.032946 Validación Cruzada K-Folds=8 0.227865 0.049222 Validación Simple 10% 0.231169 0.043860 Validación Cruzada K-Folds=10 0.226521 0.049185 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=300*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=300 Pima - Error WDBC - Error Validación Simple 25% 0.246094 0.068182 Validación Cruzada K-Folds=4 0.235677 0.054467 Validación Simple 20% 0.215584 0.049123 Validación Cruzada K-Folds=6 0.223958 0.047424 Validación Simple 15% 0.228448 0.029070 Validación Cruzada K-Folds=8 0.227865 0.052744 Validación Simple 10% 0.219481 0.047368 Validación Cruzada K-Folds=10 0.226521 0.050940 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=400*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=400 Pima - Error WDBC - Error Validación Simple 25% 0.195312 0.047203 Validación Cruzada K-Folds=4 0.235677 0.054467 Validación Simple 20% 0.211688 0.043860 Validación Cruzada K-Folds=6 0.223958 0.047424 Validación Simple 15% 0.235632 0.056202 Validación Cruzada K-Folds=8 0.227865 0.050983 Validación Simple 10% 0.203896 0.047368 Validación Cruzada K-Folds=10 0.226521 0.049185 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=500*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=500 Pima - Error WDBC - Error Validación Simple 25% 0.207031 0.066434 Validación Cruzada K-Folds=4 0.235677 0.052706 Validación Simple 20% 0.227273 0.052632 Validación Cruzada K-Folds=6 0.223958 0.047424 Validación Simple 15% 0.209770 0.054264 Validación Cruzada K-Folds=8 0.227865 0.050983 Validación Simple 10% 0.236364 0.045614 Validación Cruzada K-Folds=10 0.226521 0.049185 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=600*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=600 Pima - Error WDBC - Error Validación Simple 25% 0.226562 0.061189 Validación Cruzada K-Folds=4 0.235677 0.054467 Validación Simple 20% 0.233766 0.047368 Validación Cruzada K-Folds=6 0.223958 0.047424 Validación Simple 15% 0.206897 0.027132 Validación Cruzada K-Folds=8 0.227865 0.049222 Validación Simple 10% 0.238961 0.056140 Validación Cruzada K-Folds=10 0.226521 0.049185 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=700*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=700 Pima - Error WDBC - Error Validación Simple 25% 0.229167 0.038462 Validación Cruzada K-Folds=4 0.235677 0.052706 Validación Simple 20% 0.233766 0.047368 Validación Cruzada K-Folds=6 0.223958 0.047424 Validación Simple 15% 0.257184 0.031008 Validación Cruzada K-Folds=8 0.227865 0.047462 Validación Simple 10% 0.198701 0.050877 Validación Cruzada K-Folds=10 0.226521 0.047431 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=800*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=800 Pima - Error WDBC - Error Validación Simple 25% 0.230469 0.050699 Validación Cruzada K-Folds=4 0.235677 0.059748 Validación Simple 20% 0.220779 0.059649 Validación Cruzada K-Folds=6 0.223958 0.043916 Validación Simple 15% 0.227011 0.065891 Validación Cruzada K-Folds=8 0.227865 0.047462 Validación Simple 10% 0.206494 0.059649 Validación Cruzada K-Folds=10 0.226521 0.049185 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=900*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=900 Pima - Error WDBC - Error Validación Simple 25% 0.226562 0.043706 Validación Cruzada K-Folds=4 0.235677 0.063269 Validación Simple 20% 0.215584 0.049123 Validación Cruzada K-Folds=6 0.223958 0.045670 Validación Simple 15% 0.239943 0.042636 Validación Cruzada K-Folds=8 0.227865 0.049222 Validación Simple 10% 0.215584 0.043860 Validación Cruzada K-Folds=10 0.226521 0.047431 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=1000*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=1000 Pima - Error WDBC - Error Validación Simple 25% 0.244792 0.043706 Validación Cruzada K-Folds=4 0.235677 0.057988 Validación Simple 20% 0.236364 0.054386 Validación Cruzada K-Folds=6 0.223958 0.047424 Validación Simple 15% 0.229885 0.048450 Validación Cruzada K-Folds=8 0.227865 0.045726 Validación Simple 10% 0.220779 0.049123 Validación Cruzada K-Folds=10 0.226521 0.045677 ================================================================================
errorMedioPimaVC_SGBD, errorMedioPimaVS_SGBD, errorMedioWDBCVC_SGBD, errorMedioWDBCVS_SGBD = utils.RL_test_SK_SGBD(pima, wdbc)
*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=10*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=10 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.369792 0.256993 Validación Cruzada K-Folds=4 0.434896 0.267470 Validación Simple 20% 0.435065 0.254386 Validación Cruzada K-Folds=6 0.434896 0.122956 Validación Simple 15% 0.376437 0.195736 Validación Cruzada K-Folds=8 0.419271 0.131847 Validación Simple 10% 0.372727 0.156140 Validación Cruzada K-Folds=10 0.462543 0.154511 ================================================================================ Test Épocas=10 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.386719 0.162587 Validación Cruzada K-Folds=4 0.480469 0.186226 Validación Simple 20% 0.475325 0.184211 Validación Cruzada K-Folds=6 0.385417 0.219672 Validación Simple 15% 0.507184 0.083333 Validación Cruzada K-Folds=8 0.451823 0.212881 Validación Simple 10% 0.455844 0.105263 Validación Cruzada K-Folds=10 0.390584 0.135244 ================================================================================ Test Épocas=10 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.433594 0.342657 Validación Cruzada K-Folds=4 0.373698 0.228368 Validación Simple 20% 0.415584 0.159649 Validación Cruzada K-Folds=6 0.447917 0.170399 Validación Simple 15% 0.471264 0.155039 Validación Cruzada K-Folds=8 0.402344 0.131944 Validación Simple 10% 0.368831 0.159649 Validación Cruzada K-Folds=10 0.444993 0.188127 ================================================================================ Test Épocas=10 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.385417 0.230769 Validación Cruzada K-Folds=4 0.384115 0.119546 Validación Simple 20% 0.500000 0.100000 Validación Cruzada K-Folds=6 0.432292 0.145782 Validación Simple 15% 0.406609 0.284884 Validación Cruzada K-Folds=8 0.408854 0.214324 Validación Simple 10% 0.468831 0.212281 Validación Cruzada K-Folds=10 0.458322 0.149248 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=25*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=25 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.427083 0.104895 Validación Cruzada K-Folds=4 0.359375 0.082623 Validación Simple 20% 0.389610 0.238596 Validación Cruzada K-Folds=6 0.390625 0.154573 Validación Simple 15% 0.435345 0.094961 Validación Cruzada K-Folds=8 0.428385 0.202294 Validación Simple 10% 0.464935 0.112281 Validación Cruzada K-Folds=10 0.416781 0.179480 ================================================================================ Test Épocas=25 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.390625 0.166084 Validación Cruzada K-Folds=4 0.442708 0.177472 Validación Simple 20% 0.448052 0.315789 Validación Cruzada K-Folds=6 0.391927 0.175924 Validación Simple 15% 0.415230 0.129845 Validación Cruzada K-Folds=8 0.433594 0.186253 Validación Simple 10% 0.428571 0.278947 Validación Cruzada K-Folds=10 0.449761 0.115977 ================================================================================ Test Épocas=25 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.406250 0.201049 Validación Cruzada K-Folds=4 0.345052 0.124889 Validación Simple 20% 0.351948 0.143860 Validación Cruzada K-Folds=6 0.425781 0.269448 Validación Simple 15% 0.500000 0.120155 Validación Cruzada K-Folds=8 0.436198 0.133607 Validación Simple 10% 0.409091 0.173684 Validación Cruzada K-Folds=10 0.407809 0.237093 ================================================================================ Test Épocas=25 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.489583 0.265734 Validación Cruzada K-Folds=4 0.453125 0.238427 Validación Simple 20% 0.372727 0.256140 Validación Cruzada K-Folds=6 0.402344 0.100149 Validación Simple 15% 0.380747 0.172481 Validación Cruzada K-Folds=8 0.440104 0.133656 Validación Simple 10% 0.445455 0.117544 Validación Cruzada K-Folds=10 0.412560 0.174373 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=40*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=40 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.446615 0.082168 Validación Cruzada K-Folds=4 0.347656 0.216328 Validación Simple 20% 0.422078 0.117544 Validación Cruzada K-Folds=6 0.447917 0.248022 Validación Simple 15% 0.432471 0.120155 Validación Cruzada K-Folds=8 0.492188 0.184541 Validación Simple 10% 0.424675 0.268421 Validación Cruzada K-Folds=10 0.398462 0.136999 ================================================================================ Test Épocas=40 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.457031 0.120629 Validación Cruzada K-Folds=4 0.432292 0.130060 Validación Simple 20% 0.431169 0.222807 Validación Cruzada K-Folds=6 0.371094 0.193262 Validación Simple 15% 0.364943 0.124031 Validación Cruzada K-Folds=8 0.417969 0.225083 Validación Simple 10% 0.479221 0.180702 Validación Cruzada K-Folds=10 0.403435 0.198371 ================================================================================ Test Épocas=40 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.532552 0.173077 Validación Cruzada K-Folds=4 0.484375 0.198439 Validación Simple 20% 0.611688 0.228070 Validación Cruzada K-Folds=6 0.380208 0.406010 Validación Simple 15% 0.412356 0.215116 Validación Cruzada K-Folds=8 0.416667 0.121381 Validación Simple 10% 0.442857 0.189474 Validación Cruzada K-Folds=10 0.393455 0.131704 ================================================================================ Test Épocas=40 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.335938 0.162587 Validación Cruzada K-Folds=4 0.454427 0.180747 Validación Simple 20% 0.384416 0.328070 Validación Cruzada K-Folds=6 0.338542 0.108921 Validación Simple 15% 0.500000 0.205426 Validación Cruzada K-Folds=8 0.462240 0.251565 Validación Simple 10% 0.388312 0.215789 Validación Cruzada K-Folds=10 0.484586 0.173841 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=55*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=55 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.415365 0.146853 Validación Cruzada K-Folds=4 0.380208 0.101891 Validación Simple 20% 0.507792 0.133333 Validación Cruzada K-Folds=6 0.341146 0.112505 Validación Simple 15% 0.464080 0.277132 Validación Cruzada K-Folds=8 0.406250 0.221611 Validación Simple 10% 0.425974 0.159649 Validación Cruzada K-Folds=10 0.415140 0.147682 ================================================================================ Test Épocas=55 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.471354 0.111888 Validación Cruzada K-Folds=4 0.372396 0.386388 Validación Simple 20% 0.393506 0.129825 Validación Cruzada K-Folds=6 0.415365 0.265080 Validación Simple 15% 0.439655 0.226744 Validación Cruzada K-Folds=8 0.505208 0.154563 Validación Simple 10% 0.429870 0.131579 Validación Cruzada K-Folds=10 0.463859 0.114192 ================================================================================ Test Épocas=55 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.529948 0.176573 Validación Cruzada K-Folds=4 0.445312 0.133433 Validación Simple 20% 0.446753 0.275439 Validación Cruzada K-Folds=6 0.471354 0.170642 Validación Simple 15% 0.442529 0.211240 Validación Cruzada K-Folds=8 0.428385 0.294894 Validación Simple 10% 0.411688 0.180702 Validación Cruzada K-Folds=10 0.459706 0.135432 ================================================================================ Test Épocas=55 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.332031 0.234266 Validación Cruzada K-Folds=4 0.376302 0.152701 Validación Simple 20% 0.537662 0.236842 Validación Cruzada K-Folds=6 0.385417 0.259929 Validación Simple 15% 0.395115 0.135659 Validación Cruzada K-Folds=8 0.385417 0.167131 Validación Simple 10% 0.450649 0.212281 Validación Cruzada K-Folds=10 0.358083 0.154543 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=70*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=70 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.471354 0.277972 Validación Cruzada K-Folds=4 0.429688 0.129925 Validación Simple 20% 0.412987 0.245614 Validación Cruzada K-Folds=6 0.363281 0.179190 Validación Simple 15% 0.412356 0.098837 Validación Cruzada K-Folds=8 0.446615 0.175959 Validación Simple 10% 0.428571 0.170175 Validación Cruzada K-Folds=10 0.406288 0.158051 ================================================================================ Test Épocas=70 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.446615 0.232517 Validación Cruzada K-Folds=4 0.488281 0.126625 Validación Simple 20% 0.480519 0.133333 Validación Cruzada K-Folds=6 0.425781 0.179433 Validación Simple 15% 0.405172 0.174419 Validación Cruzada K-Folds=8 0.367188 0.172217 Validación Simple 10% 0.414286 0.135088 Validación Cruzada K-Folds=10 0.394737 0.184743 ================================================================================ Test Épocas=70 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.382812 0.180070 Validación Cruzada K-Folds=4 0.432292 0.235731 Validación Simple 20% 0.418182 0.138596 Validación Cruzada K-Folds=6 0.457031 0.130049 Validación Simple 15% 0.438218 0.176357 Validación Cruzada K-Folds=8 0.471354 0.142410 Validación Simple 10% 0.438961 0.182456 Validación Cruzada K-Folds=10 0.417840 0.212531 ================================================================================ Test Épocas=70 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.368490 0.139860 Validación Cruzada K-Folds=4 0.498698 0.140623 Validación Simple 20% 0.468831 0.291228 Validación Cruzada K-Folds=6 0.414062 0.275924 Validación Simple 15% 0.456897 0.151163 Validación Cruzada K-Folds=8 0.412760 0.183001 Validación Simple 10% 0.470130 0.184211 Validación Cruzada K-Folds=10 0.485355 0.202130 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=85*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=85 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.401042 0.078671 Validación Cruzada K-Folds=4 0.345052 0.198747 Validación Simple 20% 0.380519 0.163158 Validación Cruzada K-Folds=6 0.441406 0.210732 Validación Simple 15% 0.571839 0.220930 Validación Cruzada K-Folds=8 0.402344 0.103678 Validación Simple 10% 0.488312 0.115789 Validación Cruzada K-Folds=10 0.438841 0.114568 ================================================================================ Test Épocas=85 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.585938 0.239510 Validación Cruzada K-Folds=4 0.497396 0.152861 Validación Simple 20% 0.445455 0.122807 Validación Cruzada K-Folds=6 0.438802 0.252800 Validación Simple 15% 0.330460 0.251938 Validación Cruzada K-Folds=8 0.401042 0.123019 Validación Simple 10% 0.392208 0.136842 Validación Cruzada K-Folds=10 0.485424 0.158051 ================================================================================ Test Épocas=85 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.433594 0.209790 Validación Cruzada K-Folds=4 0.480469 0.324929 Validación Simple 20% 0.400000 0.159649 Validación Cruzada K-Folds=6 0.429688 0.240612 Validación Simple 15% 0.415230 0.224806 Validación Cruzada K-Folds=8 0.447917 0.188013 Validación Simple 10% 0.493506 0.154386 Validación Cruzada K-Folds=10 0.428247 0.245771 ================================================================================ Test Épocas=85 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.377604 0.150350 Validación Cruzada K-Folds=4 0.382812 0.145794 Validación Simple 20% 0.450649 0.112281 Validación Cruzada K-Folds=6 0.565104 0.215995 Validación Simple 15% 0.400862 0.186047 Validación Cruzada K-Folds=8 0.372396 0.151286 Validación Simple 10% 0.424675 0.147368 Validación Cruzada K-Folds=10 0.446377 0.154825 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=100*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=100 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.511719 0.110140 Validación Cruzada K-Folds=4 0.437500 0.228504 Validación Simple 20% 0.472727 0.100000 Validación Cruzada K-Folds=6 0.399740 0.100261 Validación Simple 15% 0.452586 0.170543 Validación Cruzada K-Folds=8 0.407552 0.170579 Validación Simple 10% 0.390909 0.180702 Validación Cruzada K-Folds=10 0.514183 0.172086 ================================================================================ Test Épocas=100 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.427083 0.101399 Validación Cruzada K-Folds=4 0.376302 0.117822 Validación Simple 20% 0.425974 0.221053 Validación Cruzada K-Folds=6 0.505208 0.135461 Validación Simple 15% 0.456897 0.234496 Validación Cruzada K-Folds=8 0.407552 0.159893 Validación Simple 10% 0.441558 0.117544 Validación Cruzada K-Folds=10 0.448103 0.112406 ================================================================================ Test Épocas=100 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.408854 0.171329 Validación Cruzada K-Folds=4 0.367188 0.122882 Validación Simple 20% 0.433766 0.087719 Validación Cruzada K-Folds=6 0.417969 0.248302 Validación Simple 15% 0.406609 0.251938 Validación Cruzada K-Folds=8 0.485677 0.163146 Validación Simple 10% 0.379221 0.107018 Validación Cruzada K-Folds=10 0.382895 0.193170 ================================================================================ Test Épocas=100 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.475260 0.146853 Validación Cruzada K-Folds=4 0.364583 0.295061 Validación Simple 20% 0.485714 0.138596 Validación Cruzada K-Folds=6 0.415365 0.172098 Validación Simple 15% 0.462644 0.240310 Validación Cruzada K-Folds=8 0.415365 0.137226 Validación Simple 10% 0.438961 0.207018 Validación Cruzada K-Folds=10 0.510543 0.175564 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=200*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=200 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.339844 0.174825 Validación Cruzada K-Folds=4 0.527344 0.101891 Validación Simple 20% 0.392208 0.157895 Validación Cruzada K-Folds=6 0.424479 0.101904 Validación Simple 15% 0.436782 0.153101 Validación Cruzada K-Folds=8 0.425781 0.226624 Validación Simple 10% 0.450649 0.108772 Validación Cruzada K-Folds=10 0.386945 0.105420 ================================================================================ Test Épocas=200 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.424479 0.319930 Validación Cruzada K-Folds=4 0.404948 0.105498 Validación Simple 20% 0.340260 0.110526 Validación Cruzada K-Folds=6 0.432292 0.137010 Validación Simple 15% 0.366379 0.251938 Validación Cruzada K-Folds=8 0.486979 0.161776 Validación Simple 10% 0.416883 0.126316 Validación Cruzada K-Folds=10 0.436329 0.116322 ================================================================================ Test Épocas=200 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.368490 0.118881 Validación Cruzada K-Folds=4 0.470052 0.142495 Validación Simple 20% 0.412987 0.168421 Validación Cruzada K-Folds=6 0.473958 0.130105 Validación Simple 15% 0.412356 0.112403 Validación Cruzada K-Folds=8 0.382812 0.212441 Validación Simple 10% 0.475325 0.171930 Validación Cruzada K-Folds=10 0.360629 0.145771 ================================================================================ Test Épocas=200 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.467448 0.337413 Validación Cruzada K-Folds=4 0.430990 0.180969 Validación Simple 20% 0.459740 0.149123 Validación Cruzada K-Folds=6 0.429688 0.203845 Validación Simple 15% 0.429598 0.205426 Validación Cruzada K-Folds=8 0.433594 0.202269 Validación Simple 10% 0.445455 0.203509 Validación Cruzada K-Folds=10 0.408852 0.194893 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=300*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=300 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.406250 0.152098 Validación Cruzada K-Folds=4 0.500000 0.117822 Validación Simple 20% 0.470130 0.156140 Validación Cruzada K-Folds=6 0.351562 0.224897 Validación Simple 15% 0.521552 0.155039 Validación Cruzada K-Folds=8 0.454427 0.177523 Validación Simple 10% 0.419481 0.112281 Validación Cruzada K-Folds=10 0.468387 0.163283 ================================================================================ Test Épocas=300 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.414062 0.115385 Validación Cruzada K-Folds=4 0.572917 0.242785 Validación Simple 20% 0.412987 0.224561 Validación Cruzada K-Folds=6 0.346354 0.139063 Validación Simple 15% 0.510057 0.211240 Validación Cruzada K-Folds=8 0.403646 0.181118 Validación Simple 10% 0.479221 0.292982 Validación Cruzada K-Folds=10 0.379135 0.128195 ================================================================================ Test Épocas=300 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.369792 0.230769 Validación Cruzada K-Folds=4 0.444010 0.237578 Validación Simple 20% 0.485714 0.268421 Validación Cruzada K-Folds=6 0.358073 0.228238 Validación Simple 15% 0.395115 0.118217 Validación Cruzada K-Folds=8 0.401042 0.163537 Validación Simple 10% 0.402597 0.154386 Validación Cruzada K-Folds=10 0.453059 0.255482 ================================================================================ Test Épocas=300 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.403646 0.187063 Validación Cruzada K-Folds=4 0.542969 0.220723 Validación Simple 20% 0.437662 0.189474 Validación Cruzada K-Folds=6 0.446615 0.265827 Validación Simple 15% 0.438218 0.195736 Validación Cruzada K-Folds=8 0.424479 0.154734 Validación Simple 10% 0.451948 0.217544 Validación Cruzada K-Folds=10 0.430742 0.157080 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=400*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=400 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.378906 0.099650 Validación Cruzada K-Folds=4 0.411458 0.091426 Validación Simple 20% 0.470130 0.149123 Validación Cruzada K-Folds=6 0.466146 0.103733 Validación Simple 15% 0.507184 0.120155 Validación Cruzada K-Folds=8 0.372396 0.161678 Validación Simple 10% 0.454545 0.157895 Validación Cruzada K-Folds=10 0.404802 0.163283 ================================================================================ Test Épocas=400 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.436198 0.375874 Validación Cruzada K-Folds=4 0.460938 0.281284 Validación Simple 20% 0.466234 0.163158 Validación Cruzada K-Folds=6 0.486979 0.112430 Validación Simple 15% 0.452586 0.100775 Validación Cruzada K-Folds=8 0.397135 0.179211 Validación Simple 10% 0.411688 0.159649 Validación Cruzada K-Folds=10 0.380451 0.182675 ================================================================================ Test Épocas=400 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.514323 0.232517 Validación Cruzada K-Folds=4 0.410156 0.149155 Validación Simple 20% 0.366234 0.142105 Validación Cruzada K-Folds=6 0.356771 0.196697 Validación Simple 15% 0.412356 0.187984 Validación Cruzada K-Folds=8 0.496094 0.244572 Validación Simple 10% 0.462338 0.226316 Validación Cruzada K-Folds=10 0.459621 0.123026 ================================================================================ Test Épocas=400 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.483073 0.115385 Validación Cruzada K-Folds=4 0.403646 0.199781 Validación Simple 20% 0.393506 0.119298 Validación Cruzada K-Folds=6 0.432292 0.122975 Validación Simple 15% 0.448276 0.120155 Validación Cruzada K-Folds=8 0.425781 0.237309 Validación Simple 10% 0.428571 0.182456 Validación Cruzada K-Folds=10 0.433612 0.296679 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=500*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=500 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.497396 0.272727 Validación Cruzada K-Folds=4 0.434896 0.270942 Validación Simple 20% 0.450649 0.192982 Validación Cruzada K-Folds=6 0.473958 0.159798 Validación Simple 15% 0.472701 0.094961 Validación Cruzada K-Folds=8 0.480469 0.188282 Validación Simple 10% 0.436364 0.166667 Validación Cruzada K-Folds=10 0.518985 0.289599 ================================================================================ Test Épocas=500 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.399740 0.122378 Validación Cruzada K-Folds=4 0.401042 0.230277 Validación Simple 20% 0.429870 0.196491 Validación Cruzada K-Folds=6 0.436198 0.165062 Validación Simple 15% 0.386494 0.170543 Validación Cruzada K-Folds=8 0.402344 0.195276 Validación Simple 10% 0.402597 0.105263 Validación Cruzada K-Folds=10 0.465909 0.203665 ================================================================================ Test Épocas=500 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.386719 0.155594 Validación Cruzada K-Folds=4 0.399740 0.228738 Validación Simple 20% 0.437662 0.173684 Validación Cruzada K-Folds=6 0.401042 0.172116 Validación Simple 15% 0.422414 0.155039 Validación Cruzada K-Folds=8 0.394531 0.360206 Validación Simple 10% 0.392208 0.254386 Validación Cruzada K-Folds=10 0.464901 0.128227 ================================================================================ Test Épocas=500 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.442708 0.195804 Validación Cruzada K-Folds=4 0.390625 0.168879 Validación Simple 20% 0.355844 0.203509 Validación Cruzada K-Folds=6 0.466146 0.188149 Validación Simple 15% 0.420977 0.191860 Validación Cruzada K-Folds=8 0.410156 0.150797 Validación Simple 10% 0.412987 0.178947 Validación Cruzada K-Folds=10 0.443780 0.122932 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=600*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=600 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.363281 0.167832 Validación Cruzada K-Folds=4 0.404948 0.098431 Validación Simple 20% 0.457143 0.170175 Validación Cruzada K-Folds=6 0.470052 0.144177 Validación Simple 15% 0.435345 0.112403 Validación Cruzada K-Folds=8 0.419271 0.121283 Validación Simple 10% 0.376623 0.105263 Validación Cruzada K-Folds=10 0.422249 0.158145 ================================================================================ Test Épocas=600 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.545573 0.185315 Validación Cruzada K-Folds=4 0.430990 0.138715 Validación Simple 20% 0.433766 0.249123 Validación Cruzada K-Folds=6 0.420573 0.240817 Validación Simple 15% 0.484195 0.114341 Validación Cruzada K-Folds=8 0.458333 0.216280 Validación Simple 10% 0.449351 0.112281 Validación Cruzada K-Folds=10 0.438944 0.159774 ================================================================================ Test Épocas=600 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.540365 0.232517 Validación Cruzada K-Folds=4 0.513021 0.288535 Validación Simple 20% 0.412987 0.231579 Validación Cruzada K-Folds=6 0.470052 0.149272 Validación Simple 15% 0.485632 0.153101 Validación Cruzada K-Folds=8 0.394531 0.164613 Validación Simple 10% 0.415584 0.156140 Validación Cruzada K-Folds=10 0.414234 0.277475 ================================================================================ Test Épocas=600 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.394531 0.187063 Validación Cruzada K-Folds=4 0.494792 0.177361 Validación Simple 20% 0.494805 0.170175 Validación Cruzada K-Folds=6 0.515625 0.200168 Validación Simple 15% 0.395115 0.125969 Validación Cruzada K-Folds=8 0.390625 0.117860 Validación Simple 10% 0.435065 0.115789 Validación Cruzada K-Folds=10 0.541781 0.161654 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=700*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=700 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.480469 0.115385 Validación Cruzada K-Folds=4 0.358073 0.195065 Validación Simple 20% 0.409091 0.163158 Validación Cruzada K-Folds=6 0.415365 0.193188 Validación Simple 15% 0.439655 0.158915 Validación Cruzada K-Folds=8 0.406250 0.207453 Validación Simple 10% 0.409091 0.135088 Validación Cruzada K-Folds=10 0.404853 0.101880 ================================================================================ Test Épocas=700 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.408854 0.141608 Validación Cruzada K-Folds=4 0.410156 0.137201 Validación Simple 20% 0.493506 0.101754 Validación Cruzada K-Folds=6 0.399740 0.154610 Validación Simple 15% 0.423851 0.153101 Validación Cruzada K-Folds=8 0.493490 0.230316 Validación Simple 10% 0.429870 0.224561 Validación Cruzada K-Folds=10 0.458288 0.170426 ================================================================================ Test Épocas=700 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.524740 0.174825 Validación Cruzada K-Folds=4 0.358073 0.121282 Validación Simple 20% 0.424675 0.138596 Validación Cruzada K-Folds=6 0.359375 0.186114 Validación Simple 15% 0.436782 0.187984 Validación Cruzada K-Folds=8 0.494792 0.168696 Validación Simple 10% 0.401299 0.231579 Validación Cruzada K-Folds=10 0.400017 0.184367 ================================================================================ Test Épocas=700 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.428385 0.169580 Validación Cruzada K-Folds=4 0.496094 0.211120 Validación Simple 20% 0.475325 0.157895 Validación Cruzada K-Folds=6 0.509115 0.194923 Validación Simple 15% 0.436782 0.405039 Validación Cruzada K-Folds=8 0.404948 0.225230 Validación Simple 10% 0.410390 0.110526 Validación Cruzada K-Folds=10 0.374897 0.240508 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=800*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=800 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.401042 0.155594 Validación Cruzada K-Folds=4 0.463542 0.133397 Validación Simple 20% 0.428571 0.124561 Validación Cruzada K-Folds=6 0.500000 0.187925 Validación Simple 15% 0.379310 0.079457 Validación Cruzada K-Folds=8 0.380208 0.160016 Validación Simple 10% 0.480519 0.129825 Validación Cruzada K-Folds=10 0.420745 0.170457 ================================================================================ Test Épocas=800 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.460938 0.281469 Validación Cruzada K-Folds=4 0.462240 0.191618 Validación Simple 20% 0.323377 0.124561 Validación Cruzada K-Folds=6 0.527344 0.257111 Validación Simple 15% 0.445402 0.209302 Validación Cruzada K-Folds=8 0.419271 0.198577 Validación Simple 10% 0.406494 0.175439 Validación Cruzada K-Folds=10 0.455742 0.173904 ================================================================================ Test Épocas=800 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.355469 0.246503 Validación Cruzada K-Folds=4 0.486979 0.174185 Validación Simple 20% 0.361039 0.194737 Validación Cruzada K-Folds=6 0.524740 0.225140 Validación Simple 15% 0.425287 0.182171 Validación Cruzada K-Folds=8 0.437500 0.204128 Validación Simple 10% 0.367532 0.185965 Validación Cruzada K-Folds=10 0.389269 0.194893 ================================================================================ Test Épocas=800 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.414062 0.150350 Validación Cruzada K-Folds=4 0.473958 0.142261 Validación Simple 20% 0.435065 0.189474 Validación Cruzada K-Folds=6 0.388021 0.186114 Validación Simple 15% 0.492816 0.124031 Validación Cruzada K-Folds=8 0.454427 0.179480 Validación Simple 10% 0.484416 0.191228 Validación Cruzada K-Folds=10 0.382707 0.219580 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=900*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=900 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.420573 0.092657 Validación Cruzada K-Folds=4 0.468750 0.177608 Validación Simple 20% 0.389610 0.170175 Validación Cruzada K-Folds=6 0.472656 0.161889 Validación Simple 15% 0.464080 0.098837 Validación Cruzada K-Folds=8 0.407552 0.112456 Validación Simple 10% 0.449351 0.110526 Validación Cruzada K-Folds=10 0.410133 0.177444 ================================================================================ Test Épocas=900 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.449219 0.117133 Validación Cruzada K-Folds=4 0.470052 0.238870 Validación Simple 20% 0.494805 0.231579 Validación Cruzada K-Folds=6 0.350260 0.182624 Validación Simple 15% 0.392241 0.166667 Validación Cruzada K-Folds=8 0.470052 0.196743 Validación Simple 10% 0.372727 0.159649 Validación Cruzada K-Folds=10 0.414166 0.209023 ================================================================================ Test Épocas=900 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.351562 0.204545 Validación Cruzada K-Folds=4 0.407552 0.100217 Validación Simple 20% 0.444156 0.201754 Validación Cruzada K-Folds=6 0.402344 0.210769 Validación Simple 15% 0.413793 0.104651 Validación Cruzada K-Folds=8 0.510417 0.137226 Validación Simple 10% 0.396104 0.312281 Validación Cruzada K-Folds=10 0.449761 0.151034 ================================================================================ Test Épocas=900 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.385417 0.239510 Validación Cruzada K-Folds=4 0.423177 0.247624 Validación Simple 20% 0.497403 0.352632 Validación Cruzada K-Folds=6 0.420573 0.156327 Validación Simple 15% 0.377874 0.155039 Validación Cruzada K-Folds=8 0.488281 0.184664 Validación Simple 10% 0.372727 0.112281 Validación Cruzada K-Folds=10 0.442498 0.186216 ================================================================================ *-*-*-**-*-*-**-*-*-**-*-*-**-*-**-*Épocas=1000*-*-*-**-*-*-**-*-*-**-*-*-**-*-**-* Test Épocas=1000 Constante aprendizaje=0.5 Pima - Error WDBC - Error Validación Simple 25% 0.373698 0.118881 Validación Cruzada K-Folds=4 0.401042 0.179454 Validación Simple 20% 0.414286 0.128070 Validación Cruzada K-Folds=6 0.471354 0.240743 Validación Simple 15% 0.479885 0.215116 Validación Cruzada K-Folds=8 0.415365 0.158280 Validación Simple 10% 0.444156 0.112281 Validación Cruzada K-Folds=10 0.361945 0.189787 ================================================================================ Test Épocas=1000 Constante aprendizaje=1.0 Pima - Error WDBC - Error Validación Simple 25% 0.488281 0.155594 Validación Cruzada K-Folds=4 0.484375 0.133643 Validación Simple 20% 0.429870 0.159649 Validación Cruzada K-Folds=6 0.411458 0.107186 Validación Simple 15% 0.419540 0.302326 Validación Cruzada K-Folds=8 0.498698 0.186253 Validación Simple 10% 0.468831 0.187719 Validación Cruzada K-Folds=10 0.437406 0.191792 ================================================================================ Test Épocas=1000 Constante aprendizaje=1.5 Pima - Error WDBC - Error Validación Simple 25% 0.395833 0.258741 Validación Cruzada K-Folds=4 0.441406 0.124852 Validación Simple 20% 0.550649 0.215789 Validación Cruzada K-Folds=6 0.423177 0.121221 Validación Simple 15% 0.541667 0.302326 Validación Cruzada K-Folds=8 0.440104 0.177475 Validación Simple 10% 0.449351 0.221053 Validación Cruzada K-Folds=10 0.436347 0.138753 ================================================================================ Test Épocas=1000 Constante aprendizaje=2.0 Pima - Error WDBC - Error Validación Simple 25% 0.416667 0.115385 Validación Cruzada K-Folds=4 0.483073 0.138875 Validación Simple 20% 0.364935 0.203509 Validación Cruzada K-Folds=6 0.490885 0.166853 Validación Simple 15% 0.383621 0.250000 Validación Cruzada K-Folds=8 0.444010 0.121357 Validación Simple 10% 0.503896 0.308772 Validación Cruzada K-Folds=10 0.480417 0.168703 ================================================================================
utils.plot_logistic(errorMedioPimaVS_logistic, True)
utils.plot_logistic(errorMedioPimaVC_logistic, False)
utils.plot_logistic(errorMedioWDBCVS_logistic, True)
utils.plot_logistic(errorMedioWDBCVC_logistic, False)
Lo primero que podemos ver aquí, es el claro descenso que hay al aumentar el número de épocas. Esto refuerza la teoría de que pocas épocas resultan poco beneficiosas. Otra cosa que se puede ver es como hay una época en la cual el error deja de descender drásticamente, no son necesarias más épocas a partir de esa. En el dataset de Pima-Indians-Diabetes este número está alrededor de 400 (en la validación simple) y 200 (en la validación cruzada).
utils.plot_epoch(errorMedioPimaVC_SGBD, 0.5, False)
utils.plot_epoch(errorMedioPimaVS_SGBD, 0.5, True)
utils.plot_epoch(errorMedioWDBCVC_SGBD, 1.0, False)
utils.plot_epoch(errorMedioWDBCVS_SGBD, 1.0, True)
utils.plot_epoch(errorMedioPimaVC_SGBD, 1.5, False)
utils.plot_epoch(errorMedioPimaVS_SGBD, 1.5, True)
utils.plot_epoch(errorMedioPimaVC_SGBD, 2.0, False)
utils.plot_epoch(errorMedioPimaVS_SGBD, 2.0, True)
utils.plot_epoch(errorMedioWDBCVC_SGBD, 0.5, False)
utils.plot_epoch(errorMedioWDBCVS_SGBD, 0.5, True)
utils.plot_epoch(errorMedioWDBCVC_SGBD, 1.0, False)
utils.plot_epoch(errorMedioWDBCVS_SGBD, 1.0, True)
utils.plot_epoch(errorMedioWDBCVC_SGBD, 1.5, False)
utils.plot_epoch(errorMedioWDBCVS_SGBD, 1.5, True)
utils.plot_epoch(errorMedioWDBCVC_SGBD, 2.0, False)
utils.plot_epoch(errorMedioWDBCVS_SGBD, 2.0, True)
SGDClassifier presenta unos datos muy parejos al modelo implementado en la práctica. Se repiten fenómenos como en el que el error tiene varios repuntes y no parece haber ningún número de épocas claro donde el error descienda.
Ahora veremos como se desarrolla el error en base al valor que se le da a la constante de aprendizaje. Para esto se usará un determinado número de épocas (donde se da un menor error), de esta forma se vera el impacto de la cte.
Como con LogisticRegression no podemos establecer el aprendizaje unicamente se mostrarán los datos con el clasificador SGD.
utils.plot_aprendizaje(errorMedioPimaVS_SGBD, 500, False)
utils.plot_aprendizaje(errorMedioPimaVC_SGBD, 500, True)
datos = (errorMedioPimaVS_SGBD, errorMedioPimaVS_SGBD)
utils.plot_histograms(datos, 500)
En este dataset parece haber una disminución del error a medida que se aumenta la constante de aprendizaje.
utils.plot_aprendizaje(errorMedioWDBCVS_SGBD, 500, False)
utils.plot_aprendizaje(errorMedioWDBCVC_SGBD, 500, True)
datos = (errorMedioWDBCVS_SGBD, errorMedioWDBCVS_SGBD)
utils.plot_histograms(datos, 500)
A diferencia del dataset anterior podemos ver que la constante de aprendizaje no es un valor que marque la diferencia, el error en todos los casos es muy parejo. En esta ejecución a dado la casualidad de que el valor 1.0 es el que mejor comportamiento presenta, pero esto no siempre es así.
Como LogisticRegression no tiene un parametro de cte. aprendizaje, los datos de este no cambian, pero los de los demás modelos sí.
datos = (errorMedioPimaVS, errorMedioPimaVS_SGBD, errorMedioPimaVS_logistic)
labels = ["Propio", "SGBD", "Logistic"]
utils.plot_VS_all(datos, 0.5, True, labels)
utils.plot_VS_all(datos, 1.0, True, labels)
utils.plot_VS_all(datos, 1.5, True, labels)
utils.plot_VS_all(datos, 2.0, True, labels)
Con estas primeras gráficas podemos ver la superioridad de LogisticRegression, el error es inferior en todos y cada uno de los casos, incluso con 10 épocas de entrenamiento tiene menos errores que los otros modelos con [100-1000] épocas.
Podemos ver que el modelo propio y SGDClassifier son muy parejos y presentan un comportamiento muy similar.
datos = (errorMedioWDBCVS, errorMedioWDBCVS_SGBD, errorMedioWDBCVS_logistic)
utils.plot_VS_all(datos, 0.5, True, labels)
utils.plot_VS_all(datos, 1.0, True, labels)
utils.plot_VS_all(datos, 1.5, True, labels)
utils.plot_VS_all(datos, 2.0, True, labels)
En este dataset podemos ver que LogisticRegression sigue siendo superior, en todos los casos. También podemos ver que aquí SGDClassifier tiene el peor comportamiento de todos, teniendo varios repuntes y los valores del error más alto.
A continuación se mostrarán los espacios ROC de cada conjunto de datos
from Distancias import distanciaEuclidea
# Configuraciones de los modelos
RL_conf = (1, 1000) # cte. aprendizaje, épocas
KNN_conf = (11, distanciaEuclidea) # K, funcion distancia
utils.plot_espacio_ROC(pima, 10, 20, RL_conf, KNN_conf)
<Figure size 720x720 with 0 Axes>
utils.plot_espacio_ROC(wdbc, 10, 20, RL_conf, KNN_conf)
<Figure size 720x720 with 0 Axes>
Imagino que debe haber algun error en la implementación del espacio ROC, ya que independientemente de las veces que ejecutase esta función siempre obtenía un resultado similar.
A la única conclusión a la que se puede llegar es que la regresión logística da más falsos positivos que verdaderos positivos.
En este último apartado vamos a mostrar y discutir la curva ROC generada con el clasificador de Regresión Logística.
utils.plot_curva_ROC(pima, 1, 500, 50)
utils.plot_curva_ROC(wdbc, 1, 500, 50)
En cuanto a la curva ROC, también podemos ver que el AUC es muy cercano a 0.5 (o inferior), lo que nos da a entender que el modelo no es el mejor en cuanto a la clasificación de estos datos.